NLG - Natural Language Graphics

The g o a l o f t h e NLG p r o j e c t i s t o enhance p e r s o n c o m p u t e r i n t e r a c t i o n b y u s i n g more t h a n one mode o f c o m m u n i c a t i o n . The p r o j e c t uses a c o m b i n a t i o n o f n a t u r a l l anguage and g r a p h i c s f o r b o t h i n p u t and o u t p u t . T h i s a l l o w s deve lopmen t o f p r a c t i c a l , h a b i t a b l e sys tems s u i t a b l e f o r u s e r s who a r e n a i v e a b o u t p r o g r a m m i n g , and encou rages p r o d u c t i v e use o f compu te rs b y more p e o p l e . M i x e d g r a p h i c a l and l i n g u i s t i c i n t e r a c t i o n c o u l d b e a n i m p o r t a n t t o o l i n a v a r i e t y o f a p p l i c a t i o n a r e a s . A p i l o t sys tem [Brown & Kwasny, 1977] has been d e v e l o p e d u s i n g an ag60 p lasma p a n e l s c r e e n f o r o u t p u t , and a t o u c h p a n e l and k e y b o a r d f o r " t o u c h e s " and t e x t . O r g a n i z a t i o n o f t h e sys tem i s h e t e r a r c h i c a l and based on i n t e r m o d u l e message p a s s i n g . The sys tem i s c a p a b l e o f d r a w i n g , e r a s i n g , and naming l i n e s , p o i n t s , o r c i r c l e s , and o f a n s w e r i n g q u e s t i o n s a b o u t s c r e e n o b j e c t s and s y s tem c a p a b i l i t i e s . A t y p i c a l d i a l o g u e m i g h t b e (where r e p r e s e n t s a p h y s i c a l t o u c h i n g o f t h e s c r e e n ) :